Bản tính nóng nảy thường gây cho huấn luyện viên Scolari nhiều rắc rối ngoài sân cỏ. Ngày 9 tháng 12 năm 2007, ở những phút cuối trận Bồ Đào Nha bị Serbia cầm hòa 1-1 trên sân nhà, trong khuôn khổ bảng A vòng loại Euro 2008, Ivica Dragutinovic của Serbia khi đó vừa bị truất quyền thi đấu và đang lời qua tiếng lại với Ricardo Quaresma bên phía Bồ Đào Nha. Bất thần Scolari nhảy xổ đến và vung tay đấm vào mặt anh, nhưng trượt sang bên mang tai phải. Dragutinovic cũng không vừa. Anh này kịp định thần lại rồi định nhảy vào trả đũa. May mắn là sự việc không trở nên tồi tệ hơn khi một số cầu thủ khác kịp lao đến can ngăn. Sau đó, Scolari đã phải gửi lời xin lỗi đến người dân Bồ Đào Nha vì cho rằng hành động trên đã làm xấu hình ảnh bóng đá nước này.

Sau sự việc trên, Liên đoàn bóng đá Bồ Đào Nha đã quyết định phạt huấn luyện viên Scolari 49.990 đô la Mỹ do hành động đấm vào mặt cầu thủ Dragutinovic của Serbia. Ngoài ra, UEFA cũng phạt ông 17.080 USD.[21]